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曾经 注意 过 的 物体 或 位 置 ， 从 而 偏向 新 颖 的 物体 或 位 置 来 提高 搜索 效率 , 减少 不 必要 的 搜索 
过 程 (Klein, 2000; Redden et al., 2021; Wang et al., 2010)。 关 于 IOR 的 产生 阶段 问题 , 一 直 存 
在 两 种 观点 ， 一 种 是 知觉 抑制 理论 ， 这 一 理论 认为 IOR 现象 阻碍 对 曾经 搜索 过 的 位 置 进行 
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制 ， 即 IOR 是 一 种 注意 后 效 ， 能 够 影响 刺激 的 早期 知觉 加 工 。 已 有 研究 发 现 ， 反 映 在 早期 
知觉 阶段 受到 加 工 的 P1 和 NI 成 分 的 波幅 在 无 效 线索 化 条 件 下 增强 ， 验 证 了 IOR 是 通过 抑 
制 对 有 效 线索 位 置 刺激 的 早期 知觉 加 工 而 产生 的 观点 (Hopfinger & Mangun, 2001; Prime & 
Jolicceur, 2009)。 另 一 种 反应 抑制 理论 则 认为 ，IOR 仅 是 一 种 避免 对 线索 化 位 置 做 出 反应 的 
运动 偏向 , 表现 为 延迟 对 线索 化 位 置 的 目标 进行 反应 。 以 往 研究 结果 也 发 现在 有 效 线索 化 条 
件 下 代表 反应 抑制 成 分 (Go/Nogo-N2) 产 生 的 波幅 小 于 无 效 线索 化 条 件 ， 且 出 现 的 时 间 更 早 
(Taylor & Klein, 1998; Tian & Yao, 2008). 

注意 系统 中 的 IOR 现象 可 以 有 效 的 帮助 人 们 偏向 新 颖 刺激 ， 提 高 搜索 效率 (Klein, 2000; 
Lupiáfiez et al., 2006)。 此 外 ， 已 有 研究 发 现 人 类 对 情绪 刺激 具有 高 度 敏 感性 ， 它 能 够 引起 人 
类 的 注意 偏向 进而 获得 优先 加 工 ， 尤 其 是 与 人 类 生存 密切 相关 的 恐惧 等 负 性 情绪 刺激 
(Anderson & Phelps, 2001; Pourtois et al., 2013)。 既 然 IOR 与 情绪 刺激 均 能 够 引起 注意 偏向 ， 
提高 搜索 效率 ， 这 两 者 之 间 是 否 可 以 存在 相互 影响 ， 引 起 了 研究 者 的 关注 。 情 绪 与 IOR 相 
关 研 究 的 焦点 集中 在 TOR 经 典范 式 下 产生 的 IOR 效应 是 否 受到 情绪 刺激 的 影响 ， 但 以 往 研 


= 究 的 结果 并 不 一 致 (Berdica et al., 2017; Jia et al., 2019; Pérez-Dueñas et al., 2009, 2014; 


一 Rutherford & Raymond, 2010; Silvert & Funes, 2016)。 考 察 二 者 之 间 关 系 的 研究 ， 大 致 分 为 两 
类 : 一 类 研究 将 情绪 刺激 呈现 在 IOR 经 典范 式 中 的 线索 位 置 ， 少 数 研 究 结果 发 现 负 性 线索 


后 的 TOR 效应 量 减少 (Okon-Singer et al., 2020; Pan et al., 2017), 而 多 数 研究 并 没有 发 现 情绪 


线索 与 IOR 的 交互 作用 (Berdica et al., 2017; Lange et al., 2008; Stoyanova et al., 2007)。 这 些 研 
究 认 为 情绪 刺激 不 会 对 IOR 产生 影响 ,支持 IOR 具有 “盲目 性 ”不 会 受到 刺激 性 质 干 扰 的 
PI 观点 。 有 研究 者 认为 ， 线 索 是 以 一 种 自动 的 外 源 性 注意 引起 人 们 的 关注 ， 这 导致 对 线索 类 型 
的 特征 的 忽视 (Baijal & Srinivasan, 2011; Jia et al., 2019; Pérez-Duefias et al., 2009, 2014; Silvert 


& Funes, 2016; 王 敬 欣 etal., 2013), 所 以 当 情 绪 刺激 出 现在 线索 化 位 置 时 不 会 受到 IOR 的 影 


响 。 另 一 类 研究 将 情绪 刺激 作为 目标 来 探讨 情绪 刺激 与 IOR 的 交互 作用 。 研 究 认 为 ， 如 果 


个 体 的 注意 被 情绪 刺激 优先 捕获 从 而 使 定位 反应 加 快 , 那么 当 它 们 出 现在 有 效 线索 位 置 时 会 
导致 IOR 效应 会 减少 甚至 消失 (Silvert & Funes, 2016; 王 敬 欣 等 , 2013). Baijal 和 Srinivasan 
(2011) 的 研究 中 ， 要 求 被 试 在 检测 到 面部 目标 出 现时 进行 按键 反应 ， 结 果 发 现 负 性 情绪 面孔 
目标 削弱 了 IOR 效应 ,Rutherford 和 Raymond (2010) 的 研究 结果 发 现 , 相 比 于 中 性 刺激 目标 ， 
负 性 刺激 目标 产生 了 较 少 的 IOR 效应 量 。Silvert 和 Funes (2016) 的 研究 采用 面孔 情绪 效 价 辨 


别 任务 也 发 现 了 负 性 (恐惧 ) 面 孔 比 中 性 面孔 的 TOR 效应 量 更 少 且 出 现 的 时 间 更 晚 。 以 上 研究 


结果 支持 了 IOR 是 一 种 “适应 机 制 ” 会 受到 具有 生物 意义 的 情绪 刺激 的 影响 (Fox et al., 2002; 


Pérez-Duefias et al., 2014; Taylor & Therrien, 2008; 王 敬 欣 等 , 2013)。 但 也 有 一 些 研 究 结果 发 现 ， 
采用 辨别 任务 考察 情绪 刺激 与 TOR. 的 加 工 过 程 时 ， 线 索 有 效 性 和 面孔 效 价 在 行为 反应 时 和 
眼 动 结果 上 的 交互 作用 均 不 显著 ( 关 荐 等 , 2018)， 且 不 同情 绪 效 价 的 N170 成 分 并 没有 受到 

IOR 的 影响 (Jia et al, 2019)。 对 此 ， 研 究 者 认为 IOR 发 生 在 知觉 层面 ， 是 一 种 自 下 而 上 的 加 
T, 但 辨别 视觉 情绪 效 价 的 实验 任务 是 一 种 自 上 而 下 的 加 工 过 程 。 由 于 二 者 处 于 不 同 的 加 工 
过 程 中 ， 因 此 不 会 产生 相互 的 影响 。 

与 单 通 道 刺激 相 比 ， 视 听 双 通道 刺激 整合 后 能 够 产生 一 种 促进 作用 ， 即 元 余 效 应 
(redundant effecb ， 帮 助 被 试 准确 且 快 速 的 对 双 通 道 刺 激进 行 反应 (Miller, 1986; Talsma & 
Woldorff, 2005)。 此 外 ， 视 听 双 通道 刺激 发 生 视听 觉 整合 后 能 够 增强 视听 觉 目 标的 感知 觉 
著 性 ， 从 而 吸引 个 体 的 注意 。 这 一 特点 有 利于 快速 地 检测 、 精 准 地 识别 以 及 有 效 地 定位 到 相 
关 信息 (Stein & Stanford, 2008)。 那 么 当 发 生 整 合 后 , 增强 感知 显著 性 的 视听 目标 出 现在 曾经 
注意 过 的 位 置 (产生 IOR 效应 ) 时 是 否 对 IOR 有 影响 , 这 一 问题 引起 了 研究 者 的 关注 。Van der 
Stoep 等 人 (2017) 以 视觉 线索 诱发 不 同 目 标 通道 条 件 下 的 TOR 探讨 了 IOR 是 否 会 影响 视听 觉 


整合 效应 。 以 往 研 究 表 明 相 对 多 感觉 反应 增强 (relative amount of multisensory response 


E 


enhancement, TMRE) 能 够 有 效 反映 视听 觉 整合 效应 (Miller, 1986; Ulrich et al., 2007), 因此 该 研 
究 通过 比较 有 效 线 索 和 无 效 线索 条 件 下 的 rM RE. 值 来 说 明 TOR 对 视听 觉 整 合 的 影响 。 结 

发 现 ， 无 效 线索 条 件 下 的 rzMRE 值 显 著 高 于 有 效 线索 条 件 ， 这 表明 相 比 于 无 效 线索 条 件 ， 有 
效 线索 条 件 下 视觉 线索 引起 的 IOR 降低 了 视听 觉 整合 效应 。 此 外 ，Tang 等 人 (2019) 进 一 步 
操纵 了 基于 通道 的 注意 , 考察 了 单 通 道 选择 性 注意 和 双 通 道 分 散 性 注意 条 件 下 视听 觉 整合 效 
应 对 IOR 的 影响 。 结 果 发 现 ， 在 选择 性 注意 条 件 下 ， 不 同 目标 通道 的 IOR 效应 量 无 显著 差 
异 ; 同时，rMRE 值 在 线索 有 效 性 上 也 没有 显著 差异 。 但 分 散 性 注意 条 件 下 发 现 视听 双 通 道 
目标 存在 IOR 效应 ， 但 效应 量 显著 小 于 视觉 通道 目标 产生 的 IOR 效应 量 ， 有 效 线索 位 置 的 
rMRE 值 显著 小 于 无 效 线索 位 置 , 这 表明 在 有 效 线索 位 置 上 比 无 效 线索 位 置 产 生 了 更 小 的 视 
听觉 整合 效应 。 之 所 以 产生 这 样 的 结果 是 因为 视听 觉 整合 能 够 增强 同时 呈现 的 视觉 刺激 的 知 
觉 显著 性 (Van der Burg et al., 2011), 而 IOR 是 一 种 通过 降低 曾经 注意 过 位 置 的 知觉 显著 性 来 
相应 增强 其 他 未 注意 位 置 显著 性 的 机 制 (Klein, 2000)。 因 此 ， 当 视听 觉 目 标 呈 现在 有 效 线索 
化 位 置 时 ， 增 强 知觉 显著 性 的 视听 觉 目 标 可 能 会 削弱 TOR 产生 的 抑制 效应 ， 从 而 导致 视听 


觉 目 标的 IOR 效应 量 小 于 视觉 目标 的 TOR 效应 量 (Tang et al., 2019)。 综 上 ， 以 往 的 研究 支持 
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视 上 听觉 整 合 与 IOR 之 间 具 有 一 定 的 交互 作用 。 

当 我 们 在 日 常 交流 中 感知 他 人 情绪 时 , 仅仅 通过 他 人 的 面部 表情 或 者 声音 表达 很 难 准确 
地 把 握 他 人 真实 的 情绪 状态 。 但 如 果 看 到 他 人 表情 的 同时 听 到 他 人 的 声音 ， 人 们 就 能 更 加 有 
效 的 体会 他 人 的 情绪 ,从 而 促进 人 与 人 之 间 良 好 的 交往 。 以 往 视 听 双 通道 呈现 情绪 刺激 的 研 
究 结果 也 证 实 了 ， 整 合 加 工 后 的 视听 双 通 道 情绪 一 致 刺激 能 够 加 快 被 试 对 情绪 刺激 的 识别 ， 
引起 更 大 的 情绪 注意 偏向 (Klasen et al., 2014)。ERP 研究 结果 发 现 , 当 以 视听 双 通 道 呈 现 情绪 
效 价 一 致 的 刺激 时 , 会 自动 在 早期 100 ms 内 发 生 整 合 加 工 (Pourtois etal., 2000)。 即 使 要 求 被 
试 只 注意 一 种 通道 的 情绪 ， 视 听 双 通道 情绪 一 致 刺激 的 整合 也 会 发 生 (De Gelder & Vroomen, 
2000)。 也 有 研究 发 现 ， 当 视听 双 通道 呈现 一 致 的 视觉 情绪 和 听觉 情绪 时 ， 比 单 通道 诱发 了 


波幅 更 小 的 Nl 和 更 大 的 P2 波幅 (Jessen & Kotz, 2011; Kokinous et al.,2015)。 这 些 研究 均 表 明 ， 


视觉 和 听觉 情绪 一 致 刺激 在 早期 知觉 阶段 就 得 到 加 工 ( 李 萍 等 , 2019)。 根 据 知 觉 抑制 理论 ， 


N TOR 通过 影响 刺激 的 早期 知觉 加 工 来 抑制 对 曾经 搜索 过 的 位 置 的 注意 , 这 与 视听 双 通 道 情绪 
[e 
O 一 致 刺激 的 整合 加 工 发 生 的 加 工 阶段 相同 。 而 以 往 采用 经 典 的 TOR. 范式 的 研究 通常 以 单 通 


道 视 觉 形式 呈现 情绪 刺激 ， 并 且 ， 以 往 对 情绪 刺激 与 IOR 关系 的 研究 结果 并 不 一 致 ， 实 验 
结果 会 受到 情绪 刺激 呈现 的 位 置 、 实 验 任务 以 及 被 试 特性 等 因素 的 影响 。 因 此， 本 研究 采用 
线索 -目标 范式 ， 并 将 视听 双 通 道 情绪 一 致 刺激 作为 目标 进一步 地 考察 情绪 刺激 与 IOR 在 同 
一 加 工 阶段 时 ， 情 绪 刺激 对 IOR 的 影响 。 研 究 分 为 两 个 实验 ， 采 用 线索 -目标 范式 考察 视听 
双 通 道 情绪 一 致 刺激 对 TOR 的 影响 。 实 验 1 探讨 视听 双 通 道 情 绪 一 致 刺激 对 TOR. 的 影响 。 
实验 1 假设 ， 由 于 视听 双 通 道 情绪 一 致 刺激 与 IOR 的 加 工 阶段 相同 ， 此 时 二 者 之 间 会 产生 
注意 资源 的 竞争 , 而 情绪 刺激 会 占用 更 多 的 加 工资 源 , 所 以 视听 双 通 道 情绪 一 致 刺激 能 够 影 
响 IOR， 即 视听 双 通 道 条 件 下 情绪 一 致 刺激 能 够 削弱 TOR 效应 。 此 外 ， 以 往 视听 目标 IOR 
效应 的 研究 发 现 当 同时 呈现 非 情绪 性 的 听觉 刺激 时 ， 也 会 发 生 视听 觉 整合 ， 促 进 视 觉 加 工 ， 
从 而 影响 IOR 的 产生 (Tang et al., 2019; Van der Stoep et al., 2017) 。 那 么 视听 双 通 道 情绪 一 致 
刺激 对 IOR 的 影响 是 否 是 由 听觉 通道 一 致 的 情绪 刺激 导致 的 ， 即 是 否 对 听觉 通道 情绪 刺激 
进行 了 加 工 。 因 此 ， 为 了 进一步 考察 视听 双 通 道 情绪 一 致 刺激 对 TOR. 的 影响 ， 本 研究 在 实 
验 1 的 基础 上 进行 了 实验 2， 仅 操纵 听觉 通道 的 情绪 刺激 效 价 与 视觉 通道 的 情绪 刺激 效 价 不 
一 致 ， 其 他 条 件 与 实验 1 相同 。 实 验 2 假设 视听 双 通 道 呈 现 不 一 致 的 情绪 刺激 时 ,视听 双 通 
道 情绪 不 一 致 刺激 与 IOR 之 间 不 存在 交互 作用 。 


2 实验 1: 视听 双 通 道 情绪 一 致 对 返回 抑制 的 影响 


2.1 方法 
2.1.1 被 试 

本 实验 在 XX 大 学 随机 招募 33 名 被 试 ， 被 试 的 听力 ， 视 力 或 矫正 视力 正常 ， 习 惯 手 均 
为 右手 ， 未 有 精神 疾病 ， 并 报告 未 参加 过 同类 实验 ， 于 实验 结束 后 获取 相应 的 报酬 。 其 中 有 
2 名 被 试 正确 率 低 于 80%， 低 正确 率 的 出 现 可 能 是 由 被 试 不 认真 或 注意 力 不 集 中 导致 ， 因 此 
后 续 的 数据 分 析 中 排除 2 名 低 正确 率 的 被 试 ， 共 31 名 被 试 (男生 15 名 ， 女 生 16 名 ,平均 年 
龄 19.97 土 2.06 岁 ) 纳 入 后 续 的 数据 分 析 。 为 了 评估 本 研究 的 统计 检验 力 ， 通 过 软件 G*Power 


3.1 (Faul et al., 2009; Faul et al., 2007) 对 双 侧 配对 样本 :检验 进行 了 敏感 性 分 析 (sensitivity 


analysis)， 设 置 o=0.05，power=0.80， 计 算出 effect size qz=0.52， 根 据 以 往 研究 本 研究 的 效 
应 量 达 到 了 中 等 效应 量 ， 因 此 本 研究 的 统计 检验 力 较 好 。 
> 2.1.2 实验 仪器 与 材料 
整个 实验 过 程 在 隔 首 且 较 上 暗 的 室内 环境 里 实施 。 所 有 的 刺激 呈现 在 23 英寸 的 Dell- 
3020MT 型 号 显示 器 上 ,， 分辨 率 为 1024 x 768， 刷 新 率 为 60 Hz。 实 验 使 用 白色 背景 ， 其 中 
每 个 矩形 框 的 水 平视 角 为 2.34"， 垂 直 视 角 为 3.36"， 三 个 矩形 框 的 视角 范围 约 为 +3"， 实 验 
过 程 中 的 中 央 注 视点 的 水 平和 垂直 视角 均 为 0.$3"， 线 索 是 空心 圆 环 ， 中 央 线 索 是 黑色 圆 环 ， 
水 平和 垂直 视角 均 为 2"。 实 验 过 程 中 保持 被 试 的 双眼 距离 显示 器 屏幕 中 央 约 为 65 cm。 实 验 
在 E-prime 2.0 中 完成 程序 的 编号、 呈现 和 数据 归纳 记录 。 
有 研究 认为 ,哺乳 动物 存在 一 个 进化 的 丽 惧 系统 , 以 快速 检测 存在 社会 威胁 的 面部 表情 ， 


即 与 其 它 信号 相 比 ， 人 类 大 脑 更 容易 识别 到 恐惧 刺激 (Anderson et al., 2003; Mineka & 


Ohman, 2002; Troiani et al., 2014; Vizueta et al., 2012)。 且 以 往 采 用 线索 -目标 范式 来 探讨 情绪 
与 返回 抑制 关系 的 研究 也 多 采用 恐惧 情绪 面孔 与 中 性 情绪 进行 对 比 ， 如 Silvert 和 Funes 
(2016) 采 用 线索 -目标 范式 , 并 要 求 被 试 辨别 靶子 位 置 呈 现 的 是 恐惧 面孔 还 是 中 性 面孔 来 探讨 
视觉 情绪 刺激 与 返回 抑制 的 关系 , 结果 发 现 负 性 (恐惧 ) 面 孔 比 中 性 面孔 的 TOR 效应 量 更 少 且 
出 现 的 时 间 更 晚 。 因 此 ， 本 研究 选择 恐惧 面孔 与 中 性 面孔 作为 情绪 刺激 材料 。 

视觉 材料 : 选 自 NimStim 刺激 库 (Tottenham et al., 2009) 中 四 个 人 的 面孔 表情 图 片 ， 每 个 


人 包括 负 性 (恐惧 面孔 ， 效 价 : 3.3740.33 a; 唤醒 度 : 5.70+0.32 分 )、 中 性 (平静 面孔 ， 效 价 : 
4.57+0.19 分 ; 唤醒 度 3.45+0.29 分 ) 两 种 面孔 表情 图 片 ， 共 有 八 张 图 片 ， 男 女 比 例 为 50%， 
各 图 片 亮 度 、 对 比 度 和 尺寸 在 Adobe PhotoShop 2019 图 像 处 理 软件 中 调整 统一 。 

听觉 材料 : 选 自 蒙特 利 尔 情绪 声音 刺激 库 (Belin et al., 2008) 中 四 个 人 的 情绪 声音 ， 每 个 


—«áaÀ 


并 


人 包括 负 性 (恐惧 声音 ， 效 价 : 3.36+0.28 分 ; 唤醒 度 : 5.30+0.68 分 )、 中 性 (平静 声音 ， 效 价 : 


4.54+0.25 4}, MIERE 3.50+0.24 分 ) 两 种 情绪 声音 ， 共 有 八 个 声音 ， 男 女 比 例 为 50%， 之 后 
2 Adobe Audition CC 软件 进行 处 理 ， 截 取 声 音 时 长 为 1000 ms， 采 样 率 为 44100 Hz， 并 将 
每 个 声音 都 剪辑 成 左 声 道 和 右 声 道 两 种 ,被 试 只 能 从 单 耳 听 到 每 个 声音 。 声 音 刺 激 通过 头 戴 
式 耳 麦 (ATH-WS99) 呈 现 ， 音 量 均 控 制 在 65 dB. 


2.1.3 实验 设计 与 流程 
实验 采用 2( 线 索 有 效 性 ;有效 vs. 无 效 ) x 2( 刺 激 通道 ; 视觉 vs. 视 听觉 ) x 2( 情 绪 效 价 : 

负 性 vs. 中 性 ) 的 被 试 内 设计 ， 因 变量 为 反应 时 和 正确 率 。 实 验 中 视听 双 通 道 情绪 呈现 是 指 

在 显示 器 屏幕 上 看 到 视觉 情绪 面孔 的 同时 , 同 侧耳 麦 会 播放 相应 的 情绪 效 价 一 致 的 声音 情绪 

(视觉 负 性 面孔 -听觉 负 性 声音 ， 视 觉 中 性 面孔 -听觉 中 性 声音 )。 
> 采用 线索 -目标 范式 , 并 在 线索 和 目标 中 间 加 入 了 中 央 重 定向 事件 (中 央 线 索 ) 诱 发 更 稳定 
的 IOR FA, SOA 在 1000~1100 ms 内 变化 (Prime & Ward, 2006; Taylor & Therrien, 2008)。 
每 个 试 次 的 实验 流程 如 图 1 所 示 : 开始 前 屏幕 中 出 现 三 个 矩形 框 ， 中 央 注 视点 “+” 呈 现在 
-一 中 间 拢 形 框 中 。750~850 ms 后 一 个 空心 的 圆 环 以 相等 的 概率 出 现在 两 边 矩 形 框 中 的 一 个 作 
为 外 周 线索 ， 呈 现时 长 200 ms。 在 300 ms 间隔 后 ， 中 央 注 视点 “+” 被 黑色 圆 环 蔡 换 (中 央 
线索 )， 经 过 200 ms 后 又 变 回 中 央 注 视点 “+”。 之 后 间隔 300-400 ms， 呈 现 目标 刺激 (视觉 
情绪 面孔 vs. 视 觉 情 绪 面孔 -听觉 情绪 声音 )， 目 标 刺 激 以 相等 的 概率 出 现在 左边 或 右边 的 矩 
框 中 ,要 求 被 试 在 目标 呈现 后 辨别 视觉 面孔 情绪 效 价 , 同时 尽 可 能 快速 准确 地 做 出 按键 反 
应 ,中 性 按键 盘 ] 键 ， 负 性 按键 盘 下 键 (反应 键 在 另外 一 半 被 试 中 进行 了 平衡 ， 即 中 性 按键 
盘 J 键 ， 负 性 按键 盘 F 键 )， 按 键 后 目标 刺激 消失 《刺激 最 长 呈现 时 间 为 1000 ms)， 并 且 要 
求 被 试 在 实验 全 程 盯 住 中 央 注 视点 “+”。 

实验 由 练习 实验 和 正式 实验 两 个 部 分 组 成 ， 练 习 实验 有 64 个 试 次 ， 用 于 被 试 循环 练习 

来 熟悉 明白 实验 程序 。 正 式 实验 中 有 576 个 试 次 ， 其 中 包含 64 个 捕获 试 次 (无 任何 目标 刺激 
出 现 )， 分 为 4 个 block 进行 ， 每 个 block 有 144 个 试 次 。 实 验 中 ， 中 性 和 负 性 刺激 (1:D)， 视 
觉 单 通道 和 视听 双 通 道 (1:1D) 以 及 有 效 线索 、 无 效 线索 (1:1) 均 随机 出 现 。 被 试 可 以 在 两 个 block 
间 短 暂 休 息 1 分 钟 ， 整 个 实验 时 长 约 为 60 分 钟 。 
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22 结果 与 分 析 
2.2.1 正确 率 


开始 


(750~850 ms) 


(200 ms) 


ISI 
(300 ms) 


中 did 
(200 ms) 


第 二 次 ISI 
(300~400 ms) 


目标 
(1000 ms) 


视觉 目标 视听 目标 


图 1 实验 1 vite 


对 正确 率 进行 AAR ARE: 有 效 线索 vs. 无 效 线索 ) x 2( 通 道 : 视觉 vs. 视 听觉 ) x 2( 情 


绪 效 价 : 负 性 vs. 中 性 ) 的 重复 测量 


F(1,30)=2.04, p=0.16; 通 


标的 正确 率 (97%) 显 著 低 于 视听 双 通 


方差 分 析 ， 结 果 发 现 ， 线 索 有 效 性 主 效应 不 显著 ， 


道 目标 (98%)， 体 现 了 双 通 道 加 工 的 优势 情绪 效 价 主 
应 显著 ，F(130)=7.55，p=0.01，mo2=0.20， 即 辨别 负 性 目标 的 正确 率 (97%) 要 显著 小 于 中 性 


目标 (98%); 线索 有 效 性 与 通道 的 交互 作用 不 显著 ，F<1; 线索 有 效 性 与 情绪 效 价 的 交互 作 


不 显著 ，F<1; 通道 


MA 


P 


与 情绪 效 价 的 交互 作用 显著 ，F(130)=47.58，P<0.001，mp2=0.61; 线 


索 有 效 性 、 通 道 和 情绪 效 价 三 因素 交互 作用 不 显著 ，F(1,30)=3.51，p=0.07。 


2.2.2 反应 时 


剔除 判断 错误 的 斌 次; 剔除 小 于 200 ms 和 大 于 2000 ms 的 试 次 ; 剔除 平均 数 正 负 三 个 
标准 差 之 外 的 试 次 。 对 反应 时 进行 2( 线 索 有 效 性 : 有 效 线索 vs. 无 效 线 索 ) x 2( 通 道 : 视觉 
vs. 视 听觉 ) x 2( 情 绪 效 价 : 负 性 vs. 中 性 ) 的 重复 测量 方差 分 析 ( 图 2)。 结 果 表 明 线 索 有 效 性 的 


主 效应 显著 ，F(130)=92.04，P<0.001，m2=0.75， 有 效 条件 下 的 反应 (654 ms) 显 著 慢 于 无 效 


条 件 下 的 反应 (625 ms)， 即 出 现 稳定 的 IOR 现象 ， 通 道 的 主 效应 显著 ，F(1,30)=38.93， 


P<0.001，mp2=0.37， 即 单 


un 


8 


道 视觉 条 件 下 的 反应 (661 ms) 显 著 慢 于 视听 双 通 道 条 件 下 反应 


(618 ms)， 产 生 宛 余 效 应 ， 体 现 了 双 通 道 加 工 的 优势 ;情绪 效 价 主 效应 显 普 ，F(1,30)=7.72， 
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P=0.01，me2=0.21， 即 辨别 负 性 目标 的 反应 (630 ms) 显 著 快 于 中 性 目标 的 反应 (649 ms), X 
明 情绪 刺激 引起 了 注意 偏向 ,线索 有 效 性 和 情绪 效 价 的 交互 作用 显著 ,Ff(1,30)=4.28,p=0.047， 
mo2=0.13; 通道 和 情绪 效 价 的 交互 作用 显著 ，F(130)=55.62，Pp<0.001，mp2=0.65; 线索 有 效 
性 和 通道 的 交互 作用 显著 ，F(130)=32.17，P<0.001，mp2=0.32。 进 一 步 简 单 效应 分 析 表 明 ， 
视觉 单 通道 条 件 下 ， 无 效 线索 条 件 下 的 反应 (641 ms) 显 著 快 于 有 效 线索 条 件 (681 ms), 
F(1,30)-103.49, p«0.001, n-0.78; 视觉 双 通 道 条 件 下 ， 无 效 线索 条 件 下 的 反应 (609 ms) 也 
显著 快 于 有 效 线索 条 件 (627 ms), F(1,30)=31.57, p<0.001, 0,770.51, 即 在 两 种 通道 条 件 下 IOR 
现象 均 稳定 出 现 。 线 索 有 效 性 、 通 道 和 情绪 效 价 三 者 的 交互 作用 显著 ，F(1,30)=6.62， 


p-0.02, n2-0.18. 


750 O 有 效 线索 
* B 无 效 线索 
f 1 
700 
sk 
[^  — mw 
650 
D 
£ 
= 600 
1X 
550 
500 
450 
Z 
0 
负 性 中 性 - 致 负 性 - 致 中 性 
视觉 单 通道 视听 双 通道 


图 2 各 个 条 件 下 的 反应 时 ( 注 : *p«0.05, **p«0.01) 


2.2.3 IOR 效应 量 

为 了 考察 不 同 通道 类 型 和 情绪 效 价 如 何 对 TOR. 效应 产生 影响 ,以 TOR 效应 量 (线索 有 效 
条 件 下 的 反应 时 减 去 线索 无 效 条 件 下 的 反应 时 ) 为 指标 ， 对 数据 进行 了 2( 通 道 : 视觉 vs. 视 听 
觉 ) x 2( 情 绪 效 价 : 负 性 vs. 中 性 ) 的 重复 测量 方差 分 析 ( 图 3a)。 结 果 发 现 通道 主 效应 显著 ， 


F(1,30)=32.16, p<0.001, mp 一 0.52， 视 听 双 通道 条 件 下 的 TOR 效应 量 (18 ms) 显 著 小 于 单 通道 


视觉 的 IOR 效应 量 (40 ms); 情绪 效 价 的 主 效应 也 显著 ，F(1,30)=4.27，p=0.047，nlp=0.13， 

负 性 目标 下 的 IOR 效应 量 (26 ms) 显 著 小 于 中 性 目标 的 IOR 效应 量 (32 ms)。 通 道 与 情绪 目标 
的 交互 作用 显著 ，F(1,30)=6.62，p=0.02，np=0.18， 简 单 效应 分 析 表 明 ， 在 视听 双 通 道 条 件 
下 ， 辨 别 负 性 目标 的 IOR 效应 量 (11 ms) 显 著 小 于 中 性 目标 (25 ms), F(1,30)=8.12, p=0.008, 
1,770.21. 但 单 通道 条 件 下 ,辨别 负 性 目标 (41 ms) 和 中 性 目标 (38 ms) 之 间 的 TOR. 效应 量 无 显 
著 差 异 ，F<1。 此 外 ， 在 辨别 负 性 目标 条 件 下 ， 视听 双 通 道 的 TOR 效应 量 (11 ms) 显 著 小 于 视 
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觉 单 通道 的 TOR 效应 量 (41 ms), F(1,30)-38.82, p<0.001, np=0.56; 辨别 中 性 目标 条 件 下 ， 


视听 双 通 道 的 TOR 效应 量 (25 ms) 显 著 小 于 视觉 单 通道 的 TOR 效应 量 (38 ms)，F(1,30)=6.75， 
p=0.01，nlp=0.18。 以 上 结果 说 明 仅 在 视听 双 通 道 条 件 下 情绪 刺激 显著 地 影响 TOR 效应 ， 并 
旦 无 论 情绪 效 价 如 何 ， 视 听 双 通道 比 视觉 单 通道 更 能 削弱 TOR 效应 


pn 
o 


* 


负 性 


负 性 


* 
50 口中 性 15 "m 
B- «ut 
— 7 
40 B 一 致 中 性 H 
ES 
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喇 X 
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0 1 0 1 
视觉 单 通道 视听 双 通 道 有 效 线索 无 效 线索 


(a) (b) 
3| 3 (a) 各 个 条 件 下 的 IOR 效应 量 (RT 4p — RT 无 效 ，(b) 各 个 条 件 下 的 相对 多 感觉 反应 增强 (CMRE) QE: *p«0.05, **p<0.01, 
***p<0.001) 


2.2.4 相对 多 感觉 反应 增强 (CMRE) 
为 了 检验 整合 效应 ， 需 要 计算 不 同 条 件 下 的 相对 多 感觉 反应 增强 (CMRE)。rMRE 值 反 映 
单 通道 视觉 目标 反应 时 相 比 , 个 体 对 视听 觉 目 标 反 应 时 的 加 速 或 减速 的 相对 量 , 代表 多 


了 与 
感觉 反应 增强 效应 (Tang et al., 2019; Van der Stoep et al., 2017). 


median(RTy) - median(RTav) 
median(RTy) 


首先 对 各 个 条 件 下 的 MRE 进行 单 样本 1 检验 (与 0 进行 比较 )， 若 rMRE 值 显 著 大 于 0, 
说 明 多 感觉 刺激 加 速 量 显著 大 于 零 ， 即 出 现 了 多 感觉 反应 增强 效应 ， 反 之 则 没有 出 现 。 结 果 


发 现 有 效 线索 负 性 情绪 (1 (30)=11.16, p<0.001, Cohen's d =2.00, 95% CI = [10.20, 14.78]). & 


rMRE = x 10096 


效 线索 中 性 情绪 (! (30)=5.99, p<0.001, Cohen's d 71.08, 95% CI = [5.42, 11.03])、 无 效 线索 负 


性 情绪 (1 (30)=4.243，p<0.001, Cohen's d =0.76, 95% CI = [2.28, 6.51])、 无 效 线索 中 性 情绪 (1 


(30)=2.51, p=0.018, Cohen's d =0.45, 95% CI = [0.47, 4.58]) 的 结果 均 显 著 大 于 0， 对 于 视听 双 
通道 目标 的 反应 时 要 比 单 通道 视觉 目标 的 反应 时 更 短 , 产生 宛 余 效应 ,表明 存 在 双 通道 加 工 
优势 。 然 后 对 MRE 进行 2( 线 索 有 效 性 : 有 效 线索 vs. 无 效 线索 ) x 2( 情 绪 效 价 : 负 性 vs. 中 
性 ) 的 重复 测量 方差 分 析 ( 图 3b)。 结 果 发 现 线索 有 效 性 的 主 效应 显著 ，F(1,30)=22.61， 

P<0.001,，mp2=0.43， 有 效 线索 位 置 上 的 IMRE(8.44%) 显 著 大 于 无 效 线索 位 置 (5.38%)。 情 绪 效 


价 的 主 效应 显著 ，F(1,30)=59.47，p<0.001，np=0.67， 负 性 目标 的 rMRE(10.36%) i E ACT 


中 性 目标 (3.46%) 。 线 索 有 效 性 与 情绪 效 价 的 交互 作用 显著 ，F(l30)=5.1$ , p-0.03, 
mp2=0.15， 进 一 步 简单 效应 分 析 表 明 ， 在 有 效 线索 条 件 下 ， 负 
于 中 性 目标 (4.40%)，F(130)=75.56，P<0.001，mp2=0.72; 在 无 效 线索 条 件 下 ， 负 性 目标 的 


— 


性 目标 的 HMRE(12.49%) 显 著 大 


rMRE(8.2396) S EK T "P PE H 82.5396), F(1,30)=25.13, p«0.001, 070.46. TEfATE E KA 


件 下 ,有 效 线 索 位 置 的 MRE(12.49%) 显 著 大 于 无 效 线索 位 置 的 MRE(8.23%), F(1,30)=26.77, 
P<0.001，mp2=0.47， 在 中 性 目标 条 件 下 ， 有 效 线索 位 置 的 MRE(4.40%) 显 著 大 于 无 效 线索 位 


SÍ rMRE(.5396). F(1,30)-4.90, p=0.04, mj2-0.14. 


22.5 讨论 
实验 1 的 结果 发 现 , 被 试 在 有 效 线索 化 条 件 下 的 反应 均 慢 于 无 效 线索 化 条 件 反应 , 表明 
IOR 现象 稳定 出 现 。 单 通道 视觉 条 件 下 情绪 刺激 与 IOR 交互 作用 不 显著 (图 3a)， 但 视听 双 
> 通道 条 件 下 情绪 一 致 刺激 与 IOR 的 交互 作用 显著 ， 且 一 致 负 性 目标 的 TOR 效应 量 显著 小 于 
一 致 中 性 目标 的 TOR 效应 量 ， 这 表明 发 生 在 早期 知觉 阶段 的 视听 双 通 道 情绪 一 致 刺激 能 够 
- 调节 TOR 效应 , 与 实验 假设 相符 。 为 了 验证 本 研究 中 视听 整合 是 否 发 生 , 计算 了 MRE 值 (图 
= 3b)。 结 果 发 现 ， 视 听 双 通道 条 件 下 的 确 发 生 了 整合 现象 ， 而 且 一 致 负 性 目标 的 整合 效应 显 
a 著 大 于 一 致 中 性 目标 。 因 此 实验 1 表明 ， 当 在 经 典 的 IOR 范式 的 目标 位 置 上 以 视听 双 通 道 
呈现 一 致 的 情绪 刺激 时 ， 视 听 双 通道 情绪 一 致 刺激 与 TOR. 均 处 于 早期 的 知觉 阶段 ， 由 于 二 
者 之 间 会 产生 注意 资源 的 竞争 , 情绪 刺激 会 占用 更 多 的 加 工资 源 , 因此 有 具有 注意 优先 性 的 视 
听 双 通道 情绪 一 致 刺激 能 够 削弱 IOR 效应 。 但 以 往 视听 目标 IOR 效应 的 研究 发 现 ， 当 同时 
呈现 非 情绪 性 的 听觉 刺激 时 , 也 会 发 生 视听 觉 整 合 , 促进 视觉 加 工 , 从 而 影响 TOR 效应 (Tang 
et al., 2019; Van der Stoep et al., 2017)。 那 么 实验 1 中 视听 双 通 道 情 绪 一 致 刺激 对 TOR. 的 影响 
是 否 是 由 听觉 通道 一 致 的 情绪 刺激 导致 的 , 即 是 否 对 听觉 通道 情绪 刺激 进行 了 加 工 还 有 待 确 
定 。 因 此 本 研究 设计 了 实验 2， 操 纵 听 觉 通 道 的 情绪 刺激 效 价 与 视觉 通道 的 情绪 刺激 效 价 不 
一 致 ， 其 他 条 件 与 实验 1 相同 ， 进 一 步 探讨 视听 双 通 道 情绪 一 致 刺激 对 TOR 的 影响 。 
3 实验 2 视听 双 通 道 情绪 不 一 致 对 返回 抑制 的 影响 
3.1 方法 
3.1.1 被 试 
本 实验 在 XX 大 学 随机 招募 32 名 被 试 ， 被 试 的 听力 ， 视 力 或 矫正 视力 正常 ， 习 惯 手 均 
为 右手 ， 未 有 精神 疾病 ， 并 报告 未 参加 过 同类 实验 ， 于 实验 结束 后 获取 相应 的 报酬 。 其 中 有 


1 名 被 试 正确 率 低 于 80%， 低 正确 率 的 出 现 可 能 是 由 被 试 不 认真 或 注意 力 不 集 中 导致 ， 因此 


— 


= 


= 
fe = 
— 
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后 续 的 数据 分 析 中 排除 1 名 低 正确 率 的 被 试 ， 共 31 名 被 试 (男生 13 名 ， 女 生 18 名 ,平均 年 
& 20.75+2.31 岁 ) 纳 入 后 续 的 数据 分 析 。 为 了 评估 本 研究 的 统计 检验 力 ， 通 过 软件 G*Power 


3.1 (Faul et al., 2009; Faul et al., 2007) 对 双 侧 配对 样本 上 检验 进行 了 敏感 性 分 析 (sensitivity 


analysis)， 设 置 o=0.05，power=0.80， 计 算出 effect size dz=0.52， 根 据 以 往 研究 本 研究 的 效 
应 量 达 到 了 中 等 效应 量 ， 因 此 本 研究 的 统计 检验 力 较 好 。 
3.1.2 实验 仪器 与 材料 

同 实验 1。 
3.1.3 实验 设计 与 流程 

与 实验 1 的 不 同 在 于 目标 以 视听 双 通 道 呈 现时 ,视听 双 通 道 呈 现 的 情绪 效 价 是 不 一 致 的 
(视觉 负 性 面孔 -听觉 中 性 声音 ;视觉 中 性 面孔 -听觉 负 性 声音 )， 除 此 以 外 与 实验 1 相同 。 

> 3.2 结果 与 分 析 


3.2.1 正确 率 
= 对 正确 率 进 行 (ARANE: 有 效 线索 vs. 无 效 线索 ) x 2( 通 道 : 视觉 vs. 视 听觉 ) x 2( 情 
绪 效 价 ; TPE vs. 中 性 ) 的 重复 测量 方差 分 析 。 结 果 发 现 ， 线 索 有 效 性 的 主 效应 不 显著 ， 


F(1,30)=1.38, p=0.25; 通道 主 效 应 不 显著 ，F(1,30)=3.90，p=0.06; 情绪 效 价 主 效应 显著 ， 


(1,30)=15.07，p=0.001，mnp=0.33， 即 辨别 负 性 目标 的 正确 率 (97%) 要 显著 小 于 中 性 目标 
(98%); 线索 有 效 性 与 通道 的 交互 作用 不 显著 ，F<1; 线索 有 效 性 与 情绪 效 价 的 交互 作用 不 
显著 ，F<1; 通道 与 情绪 效 价 的 交互 作用 显著 ，F(1,30)=6.73，p=0.02，mp 一 0.18; 线索 有 效 
性 、 通 道 和 情绪 效 价 三 因素 交互 作用 不 显著 ，F<1。 
3.2.2 反应 时 

剔除 判断 错误 的 试 次 ;剔除 小 于 200 ms 和 大 于 2000 ms 的 试 次 ;剔除 平均 数 正 负 三 个 
标准 差 之 外 的 试 次 。 对 反应 时 进行 2 线索 有 效 性 : 有 效 线索 vs. 无 效 线索 ) x 2( 通 道 : 视觉 
Vs. 视听 觉 ) x 2( 情 绪 效 价 ; 负 性 vs. 中 性 ) 的 重复 测量 方差 分 析 ( 图 人。 结果 发 现 线索 有 效 性 的 
主 效应 显著 ，F(1,30)=60.07，p<0.001，np*=0.67， 线 索 有 效 条 件 下 的 反应 (707 ms) 显 著 慢 于 
无 效 条 件 下 的 反应 (669 ms)， 即 出 现 稳定 的 IOR 现象 ， 通道 的 主 效应 显著 ，F(1,30)=9.07， 
p=0.01, np”=0.23， 即 单 通道 视觉 条 件 下 的 反应 (678 ms) 显 著 快 于 视听 双 通 道 条 件 下 反应 (698 
ms)， 以 往 视 听 双 通道 加 工 优势 没有 出 现 ， 当 视听 双 通 道 呈现 刺激 不 一 致 时 比 单 通道 具有 更 
长 的 反应 时 ， 情 绪 效 价 主 效应 不 显著 ，F<1。 线 索 有 效 性 和 通道 的 交互 作用 不 显著 ，F<1; 


202111.00021v1 


chinaXiv 


线索 有 效 性 和 情绪 效 价 的 交互 作用 不 显著 ，F(1,30)=2.17，p=0.15; 通道 和 情绪 效 价 的 交互 
作用 不 显著 ，F<1; 线索 有 效 性 、 通 道 和 情绪 效 价 三 者 的 交互 作用 不 显著 ，F<1。 
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图 4 各 个 条 件 下 的 反应 时 ( 注 : n.s. p>0.05) 


3.2.3 IOR 效应 量 
GIONIS A AE ee eer eeu Se ee 

性 ) 的 重复 测量 方差 分 析 。 结 果 如 图 5(a) 所 示 ， 通 道 主 效应 不 显著 ，F<1; 情绪 效 价 主 效应 不 

显著 ，F(1,30)=2.17，p=0.15。 通 道 与 情绪 效 价 的 交互 作用 不 显著 ，F<1。 

ns. E > 有 效 线索 IRAR 
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IOR 效 应 量 Cms) 
相对 多 感觉 反应 增强 (% 


视觉 单 通道 视听 双 通 道 
(a) (b) 
图 5(a) 各 个 条 件 下 的 IOR 效应 量 (RT 有 效 一 RT 无 效 )，(b) 各 个 条 件 下 的 相对 多 感觉 反应 增强 (CMRE) QE: n.s. p>0.05) 


3.2.4 相对 多 感觉 反应 增强 CMRE) 
首先 对 各 个 条 件 下 的 rMRE 进行 单 样本 1 检验 (与 0 进行 比较 )， 发 现 有 效 线索 负 性 情 


绪 条 件 下 没有 显著 小 于 0 (1(30)=-1.31，p=0.20)， 在 无 效 线索 负 性 情绪 (1 (30)=-2.86 , 
p=0.008, Cohen's d =-0.51, 95% CI = [-4.69, -0.78]) 、 有 效 线 索 中 性 情绪 (t (30)=-2.38 , 


p=0.024, Cohen's d =-0.43, 95% CI = [-4.35, -0.33]) 和 无 效 线索 中 性 情绪 (t (30)=-3.19 , 


p=0.003, Cohen's d =-0.57, 95% CI = [-4.85, -1.06]) 条 件 下 结果 均 显 著 的 小 于 0, 表 明 视 听 双 通 
道 呈 现 不 一 致 刺激 时 没有 表现 出 宛 余 效应 , 双 通 道 加 工 优势 不 存在 。 然 后 对 rMRE 进行 2( 线 
索 有 效 性 : 有 效 线索 vs. 无 效 线索 ) x 2( 情 绪 效 价 ， 负 性 vs. 中 性 ) 的 重复 测量 方差 分 析 。 结 
如 图 5(b) 所 示 ， 线 索 有 效 性 的 主 效应 不 显著 ，F(1,30)=1.95，p=0.17; 情绪 效 价 主 效应 不 显 


青 绪 效 价 的 交互 作用 不 显著 ，F<1。 


—— 


3E, F(1,30)=1.09, p-0.31. Z&zcti Aur 5 


32.5 讨论 

实验 2 的 结果 显示 ， 在 不 同 条 件 下 IOR 效应 均 稳 定 出 现 ， 但 实验 1 在 视听 双 通 道 条 件 
下 发 现 的 情绪 刺激 与 IOR 的 交互 作用 在 实验 2 中 没有 发 现 。 同 时 ， 不 同 通道 条 件 下 的 IOR 
效应 量 无 显著 差异 ， 即 不 一 致 的 视听 双 通 道 情绪 刺激 没有 对 IOR 产生 影响 。 从 rMRE 值 (图 
Sb) 的 结果 发 现 ， 当 视听 双 通 道 呈 现 不 一 致 的 情绪 刺激 没有 出 现 元 余 效 应 ， 被 试 对 双 通 道 不 


> 一 致 条 件 下 的 反应 不 具有 加 工 优势 。 根据 实验 2 的 结果 可 以 推断 , 不 一 致 的 视听 双 通 道 情 绪 
QN 刺激 可 能 未 在 知觉 阶段 发 生 整 合 加 工 ， 此 时 与 IOR 处 于 不 同 的 加 工 阶段 (知觉 阶段 )， 因 此 不 
S 会 削弱 TOR 效应 。 由 此 推断 ， 实 验 1 中 视听 双 通 道 情绪 一 致 刺激 对 TOR. 的 影响 是 由 听觉 通 
- 道 一 致 的 情绪 刺激 导致 的 , 即 对 听觉 通道 的 情绪 刺激 进行 了 加 工 。 综 上 , 实验 2 的 结果 表明 ， 
一 视听 双 通 道 情绪 不 一 致 刺激 未 在 知觉 阶段 发 生 整合 加 工时 ， 不 会 影响 知觉 阶段 发 生 的 IOR 
= 效应 ， 这 与 单 通道 条 件 下 情绪 刺激 与 TOR 的 结果 一 致 (Jia et al., 2019). 
4 讨论 

本 研究 采用 线索 -目标 范式 ， 操 纵 线索 有 效 性 、 目 标 情绪 效 价 和 目标 通道 三 个 变量 ， 考 
= 察 视 听 双 通道 情绪 一 致 刺激 对 IOR 的 影响 。 实 验 1 视听 双 通 道 呈 现 一 致 的 情绪 刺激 时 发 现 
[r 无 效 线索 条 件 下 的 反应 快 于 有 效 线索 ， 即 TOR 现象 稳定 的 出 现 ， 同 时 出 现 视听 双 通 道 的 宛 


余 效 应 ， 视 听 双 通道 反应 快 于 视觉 单 通道 此 外 ， 与 以 往 研究 一 致 的 情绪 注意 偏向 出 现 ， 即 
被 试 对 负 性 目标 的 反应 显著 快 于 中 性 目标 。 进一步 分 析 发 现 , 视听 双 通 道 条 件 下 情绪 一 致 刺 
激 与 IOR 的 交互 作用 ， 上 基体 表现 为 ， 在 视听 双 通 道 条 件 下 ， 一 致 的 负 性 目标 产生 的 IOR 效 
应 量 要 显著 地 小 于 中 性 目标 的 TOR 效应 量 ; 但 在 视觉 单 通道 条 件 下 并 没有 发 现 二 者 的 交互 
作用 。 此 外 ， 视 听 双 通道 目标 产生 的 TOR 效应 量 要 显著 地 小 于 视觉 单 通道 的 TOR 效应 量 。 
实验 1 的 结果 表明 ， 当 视听 双 通 道 呈 现 一 致 的 情绪 刺激 时 能 够 削弱 发 生 在 同一 加 工 阶段 的 
IOR 效应 。 在 实验 2 中 ， 当 以 视听 双 通 道 呈现 不 一 致 的 情绪 刺激 时 ， 结 果 发 现 视 觉 单 通道 与 
视听 双 通 道 均 产 生 了 稳定 的 IOR 效应 ， 但 视听 双 通 道 条 件 下 情绪 不 一 致 刺激 与 IOR 之 间 不 


存在 交互 作用 ， 同 时 视觉 单 通道 IOR 效应 量 与 视听 双 通 道 IOR 效应 量 也 不 存在 显著 差异 。 
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实验 2 的 结果 表明 ， 呈 现 视听 双 通 道 情绪 不 一 致 刺激 时 对 IOR 没有 影响 。 综 合 实验 1 与 实 
验 2 的 结果 表明 ， 视 听 双 通道 呈现 情绪 一 致 刺激 时 ， 才 会 影响 同一 阶段 的 TOR 效应 。 

实验 1 发 现 视觉 单 通道 条 件 下 情绪 效 价 ( 负 性 vs. 中 性 ) 产 生 的 TOR 效应 量 不 存在 显著 差 
异 。 这 与 以 往 研究 结果 一 致 , 表明 视觉 单 通 道 呈 现 情绪 刺激 时 并 不 会 影响 辨别 任务 中 的 TOR. 
BUM, 进一步 支持 了 IOR 的 确 具 有 “盲目 性 ” 不 会 受到 情绪 刺激 干扰 影响 的 观点 (Berdica et 
al., 2017; Jia et al., 2019). 研究 者 认为 IOR 是 在 知觉 层面 发 生 的 注意 抑制 现象 , 是 一 种 自 下 而 
上 的 行为 过 程 。 而 在 本 研究 中 ,实验 任务 是 要 求 被 试 辨别 目标 刺激 的 情绪 效 价 ， 这 是 一 种 经 
过 深度 加 工 以 后 才 可 以 完成 的 任务 , 属于 对 情绪 刺激 的 意识 反应 阶段 , 在 辨别 刺激 属性 时 会 
受到 多 种 因素 的 影响 , 例如 相关 的 个 人 经 验 等 , 这 是 一 种 自 上 而 下 的 加 工 过 程 Jia et al., 2019)。 
由 于 两 个 不 同 的 加 工 过 程 沿 着 不 同 的 神经 通路 独立 发 生 ， 因 此 二 者 之 间 不 会 产生 相互 影响 。 
这 一 研究 结果 同时 也 进一步 支持 了 IOR 的 确 发 生 在 知觉 阶段 。 


CN 重要 的 是 ,实验 1 采用 了 在 知觉 阶段 发 生 整合 的 视听 双 通道 情绪 一 致 刺激 进一步 探究 情 
S 绪 刺 激 与 TOR 的 关系 。 结 果 发 现 了 视听 双 通 道 条 件 下 情绪 一 致 刺激 与 IOR 之 间 的 交互 作用 ， 
= 即 视听 双 通 道 旦 现 一 致 的 负 性 目标 比 一 致 的 中 性 目标 产生 了 更 小 的 IOR 效应 量 (图 3a)。 结 
$ 合 反 映 整合 效应 的 MRE 值 发 现 , 在 视听 双 通 道 条 件 下 ， 一致 负 性 目标 和 一 臻 中 性 目标 都 产 


生 了 视听 觉 整合 效应 (图 3b)， 被 试 对 视听 双 通道 目标 的 反应 显著 快 于 视觉 单 通道 目标 ， 视 听 
双 通道 的 加 工 优势 出 现 ， 即 产生 元 余 效 应 。 此 外 ， 本 研究 发 现 ， 无 论 是 在 有 效 线索 位 置 还 是 
无 效 线索 位 置 , 一致 负 性 目标 的 rMRE 值 都 比 中 性 目标 大 , 即 一 致 负 性 目标 在 知觉 阶段 发 生 
了 更 显著 的 整合 效应 (图 3b)。 这 一 结果 与 以 往 视 听 双 通道 情绪 的 研究 一 致 , 相 比 于 中 性 目标 ， 
当 视 昕 双 通 道 呈 现 一 致 的 负 性 目标 (如 恐惧 ) 时 , 更 能 够 促进 整合 过 程 , 且 早 期 整合 效应 更 强 ， 
这 同样 反应 了 情绪 信息 因 具 有 进化 意义 而 表现 出 双 通 道 情绪 整合 的 情绪 特异 性 (Lang et al., 
2000)。 因 此 ， 研 究 结果 证 明了 发 生 在 早期 知觉 阶段 的 视听 双 通 道 情绪 一 致 刺激 与 IOR 处 于 
同一 加 工 阶 段 ， 情 绪 刺激 能 够 削弱 IOR 效应 ， 说 明 IOR 具有 一 定 的 适应 性 ， 能 够 帮助 人 们 
更 好 地 适应 社会 ， 与 实验 假设 相符 。 根 据 IOR 的 知觉 抑制 理论 ，IOR 发 生 在 早期 知觉 阶段 ， 


通过 对 先前 搜索 的 位 置 进行 注意 抑制 来 促进 搜索 效率 (Prime & Jolicoeur, 2009; Reuter-Lorenz 
et al., 1996)。 但 由 于 注意 资源 的 有 限 性 ，IOR 会 受到 其 他 能 够 引起 注意 偏向 的 刺激 的 影响 ， 
从 而 适应 环境 变化 。 以 往 相 关 研 究 的 结果 表明 ， 当 情绪 刺激 以 视听 双 通 道 呈 现时 ,视听 双 通 


道 情 绪 一 致 刺激 的 整合 加 工 也 发 生 在 知觉 阶段 (De Gelder & Vroomen, 2000; Jessen & Kotz, 


2011; Kokinous et al., 2015; Pourtois et al., 2000)。 综 上 ,本 研究 结果 证 明了 情绪 刺激 的 加 工 与 


IOR 的 产生 同 在 知觉 阶段 时 ， 由 于 二 者 处 于 竞争 状态 , 情绪 刺激 会 占用 更 多 的 加 工资 源 ， 所 
以 具有 注意 优先 性 的 情绪 刺激 能 够 削弱 TOR 效应 (Pan et al., 2017)， 这 也 进一步 支持 了 IOR 
的 知觉 抑制 理论 。 

此 外 ， 实 验 1 发 现 视听 双 通 道 目标 比 视觉 单 通道 目标 更 能 削弱 TOR 效应 量 ， 无 论 是 在 
目标 还 是 中 性 目标 条 件 下 ， 不 同 通道 的 IOR 效应 量 都 有 显著 差异 (图 3a)。 以 往 研 究 表 
明 , 当 以 视听 双 通 道 呈 现 目标 刺激 时 ,视觉 和 听觉 通道 会 因为 时 间 和 空间 的 一 致 性 发 生 整 合 。 
为 了 反映 整合 效应 ， 实 验 1 在 数据 分 析 时 计算 了 rMRE 值 。 由 图 3a 可 知 ， 实 验 1 中 的 确 发 
生 了 视听 整合 (各 种 条 件 下 rMRE 值 均 显 著 大 于 0)， 并 且 有 效 线索 位 置 的 整合 效应 显著 的 大 
于 无 效 线索 位 置 。 以 往 视 听 目 标 TOR 效应 的 研究 发 现 同时 呈现 视听 刺激 时 能 够 发 生 视 听觉 
整合 现象 ， 从 而 对 IOR 有 一 定 的 影响 ， 研 究 表明 当 视 听觉 目标 TOR (降低 显著 性 ) 遇 到 视听 
觉 整 合 ( 增 加 感知 觉 显著 性 ) 时 , 视听 觉 整合 可 以 帮助 视听 觉 目标 抵抗 其 在 早期 感知 /注意 处 理 


ff} 


HE 


A 中 被 抑制 (Tang et al., 2019)。 也 就 说 当 刺 激 以 视听 这 样 的 双 通道 形式 出 现时 ， 会 发 生 视听 觉 
S 整合 现象 ， 而 这 样 的 整合 由 于 比 单 通道 能 更 加 增强 刺激 感知 显著 性 从 而 促进 对 刺激 的 加 工 
(Stein & Stanford, 2008)。 因 此 当 视 听 双 通道 目标 出 现在 了 曾经 注意 过 的 位 置 时 ， 相 比 于 单 通 
= 道 它 会 因为 增强 的 感知 显著 性 去 削弱 IOR 的 抑制 效应 。 这 与 本 研究 的 结果 一 致 ， 即 视听 双 
e 通道 目标 比 视觉 单 通道 目标 更 能 削弱 TOR 效应 。 


实验 1 发 现 视听 双 通 道 情 绪 一 致 条 件 下 削弱 IOR， 同 时 也 发 现 了 不 同 通道 间 的 TOR. 效 
量 差异 。 在 目标 位 置 呈现 视听 刺激 的 TOR 研究 发 现 当 同时 呈现 非 情绪 性 的 听觉 刺激 时 ， 

也 会 发 生 视 听觉 整合 ， 促 进 视 觉 加 工 ， 从 而 影响 IOR 效应 (Tang et al., 2019; Van der Stoep et 
al., 2017)。 因 此 ， 实 验 2 通过 设置 视听 双 通 道 呈 现 不 一 致 的 情绪 刺激 进一步 探究 视听 双 通 道 
青 绪 一 致 刺激 对 IOR 的 影响 。 结 果 发 现 ， 实 验 2 结果 与 实验 1 不 同 。 在 实验 2 中 视听 双 通 
道 情绪 不 一 致 刺激 与 IOR 不 存在 交互 作用 ; 同时， 不 同 通道 条 件 下 的 TOR 效应 量 无 显赫 差 
异 。 实 验 2 与 实验 1 唯一 不 同 在 于 听觉 通道 的 情绪 刺激 效 价 与 视觉 通道 情绪 刺激 效 价 是 否 一 

致 ， 其 他 条 件 保持 不 变 。 因 此 可 以 推 上 新 ， 视 听 双 通道 情绪 一 致 刺激 对 TOR 的 影响 是 由 听觉 
通道 一 致 的 情绪 刺激 导致 的 , 即 对 听觉 通道 的 情绪 刺激 进行 了 加 工 ， 而 视听 双 通 道 情绪 不 

致 刺激 可 能 未 在 知觉 阶段 发 生 整 合 ， 此 时 与 IOR 处 于 不 同 的 加 工 阶段 ， 因 此 不 会 削弱 TOR 
效应 。 此 外 ， 实 验 2 中 rMRE 值 (图 Sb) 的 结果 发 现 ， 当 视听 双 通 道 星 现 不 一 致 的 情绪 刺激 
时 ,视听 双 通道 条 件 下 没有 出 现 元 余 效 应 ,被 试 对 视听 双 通 道 不 一 致 条 件 下 的 反应 不 具有 加 
工 优势 , 甚至 实验 2 中 要 求 对 视觉 通道 情绪 效 价 进行 辨别 时 ， 受 到 了 不 一 致 的 听觉 通道 情绪 
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声音 的 干扰 ， 有 具体 表现 为 视听 双 通 道 条 件 下 的 反应 比 视觉 单 通道 条 件 下 更 慢 (图 4)。 这 一 结 
果 与 以 往 视听 双 通 道 情绪 的 研究 结果 一 致 , 即 对 一 种 通道 的 情绪 辨别 会 被 其 他 通道 呈现 一 致 
的 情绪 刺激 所 增强 ， 但 会 被 其 他 通道 呈现 不 一 致 的 情绪 刺激 所 削弱 (Collignon et al., 2008; de 
Gelder & Vroomen, 2000; Müller et aL, 2011)。 以 往 对 Stroop 效应 〈 视 觉 颜 色 ) 与 TOR 间 关 系 
的 研究 发 现 两 者 在 视觉 通道 下 交互 作用 显著 , 并且 线 索 化 位 置 的 干扰 量 减 小 , 这 可 能 是 由 于 
IOR 抑制 了 前 反应 水 平 的 信息 加 工 (Chen et al., 2006). Zhao 等 人 (2017) 采 用 词 -面孔 Stroop 范 
式 探 讨 了 视觉 通道 下 情绪 干扰 效应 与 IOR 之 间 的 关系 ， 结 果 发 现 情绪 干扰 与 IOR 也 发 生 了 
交互 作用 。 然 而 ， 本 研究 结果 发 现 ， 双 通道 不 一 致 情绪 刺激 和 单 通道 视觉 情绪 刺激 没有 与 线 
索 有 效 性 产生 交互 作用 ， 即 听觉 不 一 致 情绪 的 干扰 效应 没有 影响 TOR. 效应 。 这 可 能 由 于 视 
听 双 通道 呈现 不 一 致 的 情绪 刺激 时 未 在 早期 知觉 阶段 发 生 整合 , 而 返回 抑制 是 通过 影响 刺激 
的 早期 知觉 加 工 产生 抑制 效应 , 所 以 二 者 没有 产生 交互 作用 , 这 进一步 地 支持 了 实验 1 的 结 
果 ， 表 明 视 听 双 通道 情绪 一 致 刺激 削弱 TOR 是 因为 呈现 一 致 的 视听 双 通 道 情 绪 刺 激 时 会 影 
响 同 一 阶段 (知觉 阶段 ) 的 IOR 效应 ， 从 而 进一步 支持 了 IOR 的 确 发 生 在 知觉 阶段 。 


5 结论 


(D 当 以 视听 双 通 道 呈 现 一 致 的 情绪 刺激 时 ， 由 于 一 致 的 情绪 刺激 在 知觉 阶段 发 生 
整合 ， 从 而 影响 了 发 生 在 同一 知觉 阶段 的 IOR 效 应 ; 
(2) ” 当 以 视听 双 通 道 呈现 不 一 致 的 情绪 刺激 时 ， 视 听 双 通道 情绪 不 一 致 刺激 对 IOR 
没有 影响 
当 视 听 双 通道 情绪 刺激 一 致 时 ， 才 会 在 知觉 阶段 发 生 整合 进而 削弱 IOR 效 应 量 ， 研 究 
果 进 一 步 支持 了 IOR 的 知觉 抑 人 


= 


理论 。 
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Abstract 

Both inhibition of return (IOR) and emotion have the characteristics of attentional bias and 
improving search efficiency. Previous studies mostly used single modality presentation of emotional 
stimuli to investigate the relationship between the two, but the results of the research are not 
consistent. Existing studies have shown that the congruent emotion of audiovisual dual modality 
can be integrated into the perceptual stage, which is the same as the processing stage of IOR. 
Therefore, the present study adopted the cue-target paradigm and used audiovisual dual modality to 
present emotional stimuli to further investigate the interaction between emotion and IOR. 

Experiment 1 was a three-factors within-subject design. We mainly manipulated the 
presentation of cue validity (cued vs. uncued), target modalities (visual vs. audiovisual) and emotion 
type (negative vs. neutral). The task of the subjects was to identify the emotional stimuli of visual 
modality. Experiment 2 was similar to Experiment 1, but the emotional congruency was changed. 
The audiovisual dual modality presented incongruent emotion stimuli (visual negative face-auditory 
neutral sound; visual neutral face-auditory negative sound) to further investigate whether the impact 
of the audiovisual dual modality emotional stimulus on IOR was caused by the emotional stimulus 
of the auditory modality, that is, whether the emotional stimulus of the auditory modality has been 
processed. 

In Experiment 1, the responses in the cued condition were slower than those in the uncued 
condition, which suggested that IOR occurred. More importantly, the interaction between emotion 
type and cue validity in the condition of audiovisual dual modality, which showed that congruent 
negative emotion produces less IOR effect (11 ms) than neutral emotion (25 ms). At the same time, 
the audiovisual dual modality condition produced less IOR effect (18 ms) than the visual single 
modality condition (40 ms). We also found a larger multisensory response enhancement effect in 
the congruent negative emotion than in the neutral emotion. In Experiment 2, the results showed 
that there was no interaction between emotion and IOR under the condition of audiovisual dual 
modality, and there was no significant difference in IOR effect between single modality and 
audiovisual dual modality. This indicated that the IOR effect was not influenced by the presence of 
incongruent emotion in audiovisual dual modality. In summary, the present study showed that the 
IOR effect was influenced only when the audiovisual dual modality presented the same emotion. 


Our findings revealed that IOR and audiovisual dual modality congruent emotion in the same 
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processing stage had a mutual influence. Audiovisual dual modality congruent emotion weakened 
the IOR effect and the differences between the negative emotion and the neutral emotion showed 
the adaptability of IOR. At the same time, this study further supported the perceptual inhibition 
theory of IOR. 


Key words inhibition of return, emotion, audiovisual integration 
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